PostgreSQL 全文搜索 解析器

1 背景知识

解析器负责把文档文本划分成 记号 并且标识每一个 记号 的类型，类型由解析器本身定义。简单来说就是将文本拆分为 记号 。目前PostgreSQL只提供了一种解析器，称为内建 解析器。

内建解析器被称为 pg_catalog.default。它识别 23 种记号类型，如所示。

2 默认解析器的记号类型

3 英文单词

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');

      alias      |               description                |     token     
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1
(6 rows)

4 网页地址

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');

  alias   |  description  |            token             
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html
(4 rows)

5 中文单词

SELECT alias, description, token FROM ts_debug('我的博客是：https://www.aming.tech');

  alias   |    description    |     token      
----------+-------------------+----------------
 word     | Word, all letters | 我的博客是
 blank    | Space symbols     | ：
 protocol | Protocol head     | https://
 host     | Host              | www.aming.tech
(4 rows)